The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search
上下文分配定律:生成式搜索中的因果测量与闭环编排
🧭 生成式搜索 · 推理时上下文编排 ★ 深度解读
Peking University · National Engineering Research Center for Software Engineering, Peking University · Tencent
用因果探针揭示标准相关性代理在困难负样本上失效,并证明窄上下文多轮生成比宽上下文单轮带来16.8-20.5个百分点的组合召回增益
📌 工作参考价值(4 点)
- 借鉴因果归因探针:在电商搜索/RAG 场景中,用 leave-one-out 对数似然下降度量生成结果对每个上下文文档的真实依赖,避免 query-doc 相似度等代理指标在同查询稠密负样本上的失效。工程上可对已生成响应做并行 teacher-forced 前向,绕过解码瓶颈,适合在线监控证据利用率。
- 推理预算分配策略:若有多轮生成场景(如生成多个搜索摘要或推荐理由),优先把相同证据槽位拆成多个窄上下文轮次,而不是一次性塞入宽上下文。实验显示相同 24 个文档预算下,k=2,T=12 比 k=24,T=1 的 portfolio recall 高 0.144(0.397 vs 0.253),且提升在 7B-32B 模型上稳定。
- 反馈驱动的子模调度:在每轮生成后用归因信号标记已消费的知识簇,下一轮通过贪心子模最大化选择未被充分利用的文档;比盲目轮换文档的 ECR 提升显著(0.626 vs 0.375)。该模式可直接用于多轮对话推荐或多样性商品集合生成,避免内容冗余。
- 对比解码增强新鲜证据整合:在生成阶段用公式 ℓ' = ℓ(·|q,C) + α[ℓ(·|q,C\O) - ℓ(·|q,O)] 减去过度使用证据的概率质量,推动模型利用新文档,同时加 plausibility 约束防止幻觉。此 trick 可用于电商推荐理由生成中强制覆盖不同卖点。